وقتي با كامپيوتر و يا با موبايلتان در گوگل يا موتورهاي جستجوي ديگر عبارت خاصي را براي جستجو تايپ مي كنيد، نتايج بر چه اساسي به شما نشان داده مي شود؟ همچنين ترتيب قرارگيري اين نتايج در "صفحه نمايش نتايج موتورهاي جستجوگر" يا SERP چگونه است؟

با خواندن اين مثال، بيشتر با اين موضوع آشنا مي شويد: كتابي را با تعداد صفحات زياد و همچنين حجم مطالب وسيع و گوناگون در نظر بگيريد. اين كتاب داراي فهرست مطالب دقيق و كاملي است. فهرست اين كتاب شما را سريعا به سمت صفحه مطلب مورد نظرتان راهنمايي مي كند. كاري كه موتورهاي جستجوگر انجام مي دهند به همين شكل است: ربات هاي وب مطالب را در ميلياردها وبسايت مختلف مي خوانند و طبقه بندي مي كنند. فهرستي از اين مطالب در منابع موتورهاي جستجو ( براي مثال گوگل ) ذخيره مي شود و با عبارت تايپ شده تطبيق داده مي شود. در نهايت نتايج جستجوي شما در كسري از ثانيه نشان داده مي شوند.

ربات هاي وب برنامه هايي هستند كه به صورتي نوشته شده اند، كه اتوماتيك در فضاي وب گردش كنند. موتورهاي جستجوگر از جمله گوگل از اين ربات ها براي جمع آوري مطالب و طبقه بندي محتواي سايت هاي اينترنتي استفاده مي كنند. ربات هاي وب را با نام هايي مثل سرگردان ( Wanderer )، خزنده ( Crawler ) و عنكبوت ( Spider ) هم مي شناسند. بات ها (ربات ها) بعد از ديدن كلمات لينك شده در ميان مطالب يك سايت از صفحه اي به صفحه ديگر جابجا مي شوند. ربات هاي وب به نوعي مثل تار عنكبوت (به صورت شبكه اي) در حال پرسه زدن يا خزيدن در ميان مطالب صفحات گوناگون هستند. نتايج جستجوي بات ها، در منابع موتورهاي جستجوگر ذخيره مي شوند.

ربات وبي كه موتور جستجوگر گوگل از آن استفاده مي كند، گوگل-بات نام دارد. اين بات به اصطلاح با خزيدن در بين مطالب ميليارها وبسايت مختلف صفحه هاي جديد و به روز شده را پيدا مي كند. همچنين صفحاتي را كه ديگر موجود نيستند ( Dead links ) يا عكس هايي كه در يك صفحه بارگزاري نمي شوند را به منابع گوگل گزارش مي كند.

بات گوگل متن هاي درون صفحات يك وبسايت را از بالا تا پايين مي خواند و در صورت مشاهده كلمات و عكس هاي لينك شده ( لينك هاي HREF و SRC ) آنها را به ليست صفحاتي كه بايد خوانده شوند اضافه مي كند. بات گوگل حركت خود را بر اساس سايت هايي كه اخيرا رصد كرده است آغاز مي كند. وبسايت هايي كه داراي فايل نقشه (Site map) هستند راحت تر و دقيق تر خوانده مي شوند. اين كه بات به كدام سايت سر بزند و ميزان رفت و آمدش در لينك هاي يك سايت را الگوريتم هاي موتور جستجوي گوگل تعيين مي كند.

نكاتي مثل استفاده از كلمات كليدي در عنوان ها و كلمات منو ها بيشتر توسط بات ها براي دسته بندي سايت مورد توجه قرار مي گيرند. رعايت اصول سئو در طراحي سايت و طراحي صفحات فرود سايت ضروري است. همچنين استفاده از لينك هاي داخلي براي راحت تر آناليز شدنِ سايت كمك مي كند. در ضمن گوگل از دريافت پول براي اين كه گوگل-بات بيشتر در يك سري سايت ها گردش داشته باشد خودداري مي كند. ( بر خلاف سرويس Adwords )